UltraEP: Balanceo de Carga Óptimo para MoE en Nodos a Escala de Rack
Descubre UltraEP, el primer balanceador de carga en tiempo real para MoE que logra un 94.3% del rendimiento ideal en entrenamiento e inferencia con 2560 GPUs.
#paralelismo de expertos